Năm 356, Hoàn Ôn được phong làm chinh thảo đô đốc, dẫn quân đi đánh nước Yên. Tháng 8 năm 356, ông dẫn quân đến Y Thuỷ ở Lạc Dương, đối đầu với tướng Yên là Diêu Tương - tướng người Khương của Hậu Triệu cũ, từng hàng Đông Tấn rồi bỏ sang hàng Yên. Diêu Tương bày kế định trá hàng để đánh úp Hoàn Ôn, nhưng ông biết trước nên Tương không làm gì được. Hai bên giao chiến, Hoàn Ôn đánh tan quân Yên. Diêu Tương bỏ chạy sang nước Tiền Tần, bị Tần vương Phù Sinh (con Phù Kiên) đón đường giết chết. Đông Tấn thu hồi Lạc Dương.

Tháng 2 năm 362, vua Yên tấn công để lấy lại Lạc Dương. Hoàn Ôn khi đó đã rút quân chủ lực về Kiến Khang ở Giang Nam. Ông vừa điều quân đi cứu, vừa xin thiên đô lên Lạc Dương để tiện việc bắc phạt. Nhà Tấn hoảng sợ vì ngại chiến tranh nên không tán thành. Quân Tấn không đủ mạnh nên bị mất Lạc Dương.

Tuy việc bắc phạt khi thắng khi thua nhưng Hoàn Ôn đã nắm quyền hành rất lớn trong triều đình với uy thế khiến vua Tấn lo ngại.

Tháng 3 năm 369, ông tự điều thứ sử các châu Từ, Lương, Duyện và Thọ Xuân theo đường thuỷ đi đánh Yên. Tháng 6, quân Tấn tới Kim Hương bị khô hạn, thuyền không đi được, ông sai quân sĩ đào 300 dặm vùng Cự Dã để khai thông cho thuyền đi. Tháng đó ông liên tiếp thắng quân Yên ở Hoàng Hư (Hà Nam) và Lâm Chử (Tân Trịnh – Hà Nam).

Vua Yên vội sai Lạc An vương Mộ Dung Tàng ra đánh cũng bị thua liền mấy trận, phải chạy sang cầu cứu Tiền Tần.

Vua Tần điều 2 vạn quân cứu Yên. Quân Tần chưa đến mà quân Yên đã bất ngờ phản công, đánh bại quân Tấn ở Phương Đầu. Hoàn Ôn bị mất 2 tướng, lại bị thiếu lương thảo, nên phải rút về nam. Nghe tin quân Tần sắp tới đánh sáp lại, ông vội rút lui, bị quân Yên đánh gấp, thiệt hại nặng.